通过脚本模式创建集成任务

前提条件

已完成数据源配置。您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情，请参见支持的数据源。

操作步骤

步骤一：创建离线脚本

1. 在Dataphin首页，单击顶部菜单栏的研发->数据集成。

2. 按照以下操作指引，进入创建离线脚本对话框。

   选择项目（Dev-Prod 模式需要选择环境）->单击离线集成->单击新建图标->单击离线脚本。

   

3. 在创建离线脚本对话框，配置参数。

   区域	参数	描述
   基本信息	任务名称	填写离线脚本名称。命名规则如下： 除竖线（|）、半角冒号（:）、半角问号（?）、尖括号（<>）、星号（*）、半角引号（"）、正斜线（/）、反斜线（\）外，其余字符均支持。 不能超过64个字符。
   	调度类型	选择离线脚本的调度类型。调度类型包括： 周期性节点：指需定期执行的任务。 手动节点：指没有依赖关系，需手动触发的任务。
   	描述	填写离线脚本的简单描述，1000个字符以内。
   	选择目录	默认选择为离线管道。同时您也可以在离线管道页面创建目标文件夹后，选择该目标文件夹为离线管道任务的目录。
   数据源配置	来源类型	选择来源数据源类型。
   	数据源	选择来源数据源。如果没有对应的数据源，可单击新建，后续步骤请参见支持的数据源。 说明 仅可选择有同步读权限的数据源，如何申请，详情请参见申请数据源权限。
   	目标类型	选择需要同步写入数据的数据源类型。
   	数据源	选择需要同步写入数据的数据源。如果没有对应的数据源，可单击新建，后续步骤请参见支持的数据源。 说明 仅可选择有同步写权限的数据源，如何申请，详情请参见申请数据源权限。

4. 单击确定。

步骤二：开发离线脚本

离线脚本采用代码编码的开发方式，通过编写数据同步的JSON脚本来完成数据同步开发，提供了更灵活的能力和更精细化的配置。如下图所示：

步骤三：管道调度配置

1. 单击开发画布菜单栏按钮，进行调度配置。

2. 在调度配置页面，配置集成管道的基本信息、调度配置、调度依赖、调度参数、运行配置、资源配置。各配置说明如下：

   • 基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。配置说明，请参见配置离线集成管道基本信息。

   • 调度配置：用于定义集成管道任务在生产环境的调度方式。您可以通过调度属性，配置集成管道任务的调度类型、调度周期、调度逻辑与执行等。配置说明，请参见离线集成管道调度配置。

   • 调度依赖：用于定义集成管道任务在调度任务中的依赖节点。Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。配置说明，请参见离线集成管道调度依赖配置。

   • 运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。配置说明，请参见离线集成管道运行配置。

   • 资源配置：您可为当前离线集成任务配置所属资源组，该离线集成任务将使用该资源组资源进行任务调度。配置说明，请参见配置离线集成管道任务资源。

3. 单击确定。

步骤四：保存并提交离线集成任务

1. 单击画布上方的图标，保存管道任务。

2. 单击画布上方的图标，在提交备注对话框，填写备注信息后，单击确定并提交。

   提交时，Dataphin将进行任务的血缘解析及提交检查。更多信息，请参见集成任务提交说明。

后续步骤

• 如果您的开发模式是Dev-Prod模式，则需要发布任务。更多信息，请参见管理发布任务。

• 如果您的开发模式是Basic模式，则提交成功后的任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见运维中心概述。